ANALOR. A Tool for Semi-Automatic Annotation of French Prosodic Structure

International audienceIn the area of large speech corpora, there is a definite need for common prosodic notation system based on efficient (semi)- automating tools of prosodic segmentation and labelling. In this context, we present the software program ANALOR, developed in order to process semi-automatically prosodic data. From a text-sound alignment, this computer tool detects major prosodic units, on the basis of global and local melodic variations. That leads to the segmentation of an utterance in prosodic periods. Inside those prosodic periods, prominent syllables are then automatically detected

A Multi-Level Context-Dependent Prosodic Model applied to duration modeling

International audienceon the estimation of prosodic parameters on a set of well defined linguistic units. Different linguistic units are used to represent different scales of prosodic variations (local and global forms) and thus to estimate the linguistic factors that can explain the variations of prosodic parameters independently on each level. This model is applied to the modeling of syllablebased durational parameters on two read speech corpora - laboratory and acted speech. Compared to a syllable-based baseline model, the proposed approach improves performance in terms of the temporal organization of the predicted durations (correlation score) and reduces model's complexity, when showing comparable performance in terms of relative prediction error. Index Terms : speech synthesis, prosody, multi-level model, context-dependent model

A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people

International audienceThis article presents a multimodal video corpus with the principal aim to model and predict the effects of aging in Mild Cognitive Impairment situation on pragmatic and communicative skills. We take as observable variables the verbal pragmatic markers and non-verbal pragmatic markers. This approach, at the interface of the psycholinguistics, cognitive sciences and rehabilitation medicine (speech-language pathology and therapy) is part of a longitudinal research process in an ecological situation (interviews conducted by close intimate of the elderly). In the first part of the article we present the linguistic, cognitive and social characteristics of aging in its continuum up to mild cognitive impairment and pathological disorders such as Alzheimer's disease. In the second part, we develop a multimodal approach, in particular to inform and enrich speech and language therapy knowledge. Finally, we present our experimental design and preliminary results on two female participants over 75 years of age with mild cognitive impairment Our general findings indicate that with aging, verbal pragmatic markers acquire an interactive function that allows people with Mild Cognitive Impairment to maintain intersubjective relationships with their interlocutor. In addition, at the non-verbal level, gestural manifestations are increasingly mobilized over time with a preference for non-verbal pragmatic markers with a referential function and an interactive function. One such non-verbal manifestation compensates for naming deficits, planning difficulties, discursive hitches; while another optimizes and maintains the interaction with the interlocutor

De la sémiologie linguistique à la sémiologie clinique: L’intérêt d’une approche multimodale auprès des personnes âgées les plus vulnérables.

Comité scientifiqueMarc ARABYAN (Université de Limoges)Delphine BATTISTELLI (MoDyCo, Université Paris Ouest - Nanterre La Défense)Annie BERTIN (MoDyCo, Université Paris Ouest - Nanterre La Défense)Caroline BOGLIOTTI (MoDyCo, Université Paris Ouest - Nanterre La Défense)Catherine BOLLY (Université Catholique de Louvain-la-Neuve, Belgique ValiBel, CNRS Structures Formelles du Langage, Paris)Dominique BOUTET (Université d'Evry, CNRS Structures Formelles du Langage, Paris)Philippe DE BRABANTER (LaDisco, Université libre de Bruxelles)Michèle DEBRENNE (Université Nationale de Recherche de Novossibirsk, Russie)Marcel CORI (MoDyCo, Université Paris Ouest - Nanterre La Défense)Françoise GADET (MoDyCo, Université Paris Ouest - Nanterre La Défense)Michèle GUIDETTI (OCTOGONE, Université de Toulouse II - Le Mirail,Délégation CNRS MoDyCo, Université Paris Ouest - NanterreLa Défense)Jean-François JEANDILLOU (MoDyCo, Université Paris Ouest - Nanterre La Défense)Sylvain KAHANE (MoDyCo, Université Paris Ouest - Nanterre La Défense)Maria KIHLSTEDT (MoDyCo, Université Paris Ouest - Nanterre La Défense)Georges KLEIBER (Université de Strasbourg)Anne LACHERET (MoDyCo, Université Paris Ouest - Nanterre La Défense)Frédéric LANDRAGIN (Lattice, Université Paris 3, ENS)Florence LEFEUVRE (SYLED, Université Paris 3)Sabine LEHMANN (MoDyCo, Université Paris Ouest - Nanterre La Défense)Jean-Luc MINEL (MoDyCo, Université Paris Ouest - Nanterre La Défense)Colette NOYAU (MoDyCo, Université Paris Ouest - Nanterre La Défense)Christophe PARISSE (MoDyCo, Université Paris Ouest - Nanterre La Défense)International audienceABSTRACT From linguistic semiology to clinical semiology : A multimodal analysis of communication in vulnerable elderly subjects. This pilot-study deals with a better understanding of language in later life by analyzing multimodal recorded data (including text, prosody and gestures) of a mild cognitively impaired woman. The data were obtained from a corpus of longitudinal interviews, at home, in a face to face situation with autobiographical exchanges. The research focuses specifically on pragmatic markers (both verbal and gestural) and the information they provide about the pragmatic competence of the elderly in the course of mental deterioration. The research method used is part of the European Marie-Curie Project CorpAGEst (Bolly & Boutet, submitted). A longitudinal perspective is adopted and includes different working steps. This approach may interest clinic symptomatology and speech pathology and may offer new perspectives for the care of the elderly through the use of autobiographical stories.RESUME Cette étude-pilote propose une analyse des aspects multimodaux (interface verbale, prosodique et gestuelle) du vieillissement langagier chez une femme présentant une détérioration cognitive légère par l'examen de corpus longitudinaux constitués d'échanges sur récits autobiographiques passés et présents, filmés au domicile. L'étude s'intéresse plus particulièrement à l'usage et à la fonction des marqueurs pragmatiques (MPr), en vue de nous informer sur les ressources psychosociales et pragmatiques au fur et à mesure de l'avancée dans le vieillissement cognitif. La méthode de recherche envisagée s'inscrit dans le cadre de la méthodologie développée dans le projet européen Marie-Curie CorpAGEst (Bolly & Boutet, soumis). Notre protocole, qui adopte une perspective spécifiquement longitudinale, inclut plusieurs étapes de travail. Cette démarche offre une opportunité supplémentaire d'améliorer les connaissances sémiologiques du vieillissement et de ses mécanismes langagiers, en même temps que des moyens communicationnels en relation d'aide, notamment en utilisant les récits autobiographiques

Vers une modélisation continue de la structure prosodique: le cas des proéminences syllabiques

L'objectif de cet article est de présenter un outil développé en vue de modéliser semi-automatiquement la structure prosodique du français. Sur la base d'un alignement en phonèmes, notre système procède à la détection des syllabes proéminentes en prenant en considération des critères acoustiques basiques tels que la f0, la durée et la présence de pauses. À partir des mesures ainsi prises, le système attribue un degré de proéminence à chacune des syllabes identifiées comme saillante. Nous illustrons ensuite les résultats de l'analyse d'extraits du corpus PROSO_FR. Plus précisément, nous comparons l'analyse prosodique de phrases que l'on pourrait faire avec les règles traditionnelles de la phonologie prosodique avec l'analyse conduite par notre logiciel. Nous discutons ainsi de trois règles: la règle de dominance droite, la règle de clash accentuel et la règle des sept syllabe

Prosodie et thématisation en français parlé

L’objet de cet article est de préciser le rôle des paramètres prosodiques dans les opérations de thématisation à partir de l’observation de corpus de français parlé. Trois étapes sont présentées. Tout d’abord l’instrumentation phonétique et l’analyse phonologique conduisent à la segmentation d’un énoncé en unités intonatives, appelées périodes prosodiques. Une interprétation énonciative des indices prosodiques est ensuite fournie précisant le rôle thématique ou rhématique des unités constitutives de chaque période en corrélant les indices ainsi dégagés aux constructions syntaxiques. Enfin, une interprétation cognitive fondée sur le concept de construction de scène verbale est proposée.The purpose of this paper is to clarify the role of prosodic cues in the construction of a topic-comment structure in spontaneous utterances. in French Three stages are presented. First, phonetic instrumentation and phonological analysis lead to the segmentation of an utterance in a succession of tone units called prosodic periods. Secondly, an enunciative interpretation based on an intono-syntactic analysis is given where the status of each segment (topic vs. comment

Prosodie et contact de langues (le cas du système tonal du français centrafricain)

L objectif de cette étude est d apporter une contribution aux recherches portant sur les effets prosodiques du contact de langues à travers l étude du système prosodique du français centrafricain, une variété de français ayant émergé suite au contact avec une langue africaine à densité tonale maximale, le sango. La République centrafricaine est un pays extrêmement multilingue. Entre 60 et 100 langues y sont parlées, outre les deux langues officielles que constituent le sango lingua franca, et le français langue principale de l enseignement et de l administration publique. Dans la capitale, Bangui, le sango est la langue parlée d ordinaire dans la vie quotidienne, tandis que le français s utilise essentiellement dans des contextes professionnels. Cette étude se base sur des enregistrements de parole spontanée de 12 locuteurs francophones de Bangui. Des analyses acoustiques montrent que l intonation du français centrafricain partage des caractéristiques communes avec le sango. La majorité de mots ont des patrons tonals qui restent inchangés quel que soit leur place dans l énoncé, et chaque syllabe porte un ton. Le système se distingue ainsi considérablement du système intonatif du français européen où la courbe mélodique est contrainte au niveau post-lexical et dépend entre autres de facteurs rythmiques, syntaxiques et pragmatiques. La conclusion principale de cette étude est que le français centrafricain se classifie d un point de vue typologique comme une langue à tons lexicaux. Il ressort que le système prosodique du français centrafricain est plus proche de celui du sango et que de celui du français européen. Les faits mis au jour dans cette thèse montrent que la prosodie peut changer de façon fondamentale dans une situation de contact de langue.This study is concerned with prosody and language contact. The fact that language contact induces change is well documented, but few studies focus on the prosodic effects of contact-induced change. The aim of this study is to provide a case study of the prosodic system of the contact variety Central African French, which has emerged from the contact between French and the African tone language, Sango.The Central African Republic is a multilingual country with between 60 to 100 different regional languages spoken within its borders in addition to two official languages, the lingua franca Sango and French. French has been the main language of education and of public administration since colonial times. In the capital Bangui, Sango is the most used language in everyday communication whereas French is spoken in professional contexts. This study is based on recordings of spontaneous speech of 12 French-speaking informants from Bangui. Acoustic analyses of the recordings show that the prosody of Central African French shares with Sango some fundamental characteristics: most words have fixed tonal patterns independently of their position in the sentence and every syllable carries a static tone. This system greatly differs from the system of European varieties of French, where the sentence melody is determined at the post-lexical level and depends on factors such as rhythm, syntax and pragmatics. The main conclusion of this study is that Central African French may be classified as a tone language and thus is endowed with a prosodic system that is closer to Sango than to European French. This finding suggests that intonation might change radically in contact situations ; the change is not only superficial but concerns the underlying system.NANTERRE-PARIS10-Bib. élec. (920509901) / SudocSudocFranceF

A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people

This article presents a multimodal video corpus with the principal aim to model and predict the effects of aging in Mild Cognitive Impairment situation on pragmatic and communicative skills. We take as observable variables the verbal pragmatic markers and non-verbal pragmatic markers. This approach, at the interface of the psycholinguistics, cognitive sciences and rehabilitation medicine (speech-language pathology and therapy) is part of a longitudinal research process in an ecological situation (interviews conducted by close intimate of the elderly).In the first part of the article we present the linguistic, cognitive and social characteristics of aging in its continuum up to mild cognitive impairment and pathological disorders such as Alzheimer’s disease. In the second part, we develop a multimodal approach, in particular to inform and enrich speech and language therapy knowledge. Finally, we present our experimental design and preliminary results on two female participants over 75 years of age with mild cognitive impairment.Our general findings indicate that with aging, verbal pragmatic markers acquire an interactive function that allows people with Mild Cognitive Impairment to maintain intersubjective relationships with their interlocutor. In addition, at the non-verbal level, gestural manifestations are increasingly mobilized over time with a preference for non-verbal pragmatic markers with a referential function and an interactive function. One such non-verbal manifestation compensates for naming deficits, planning difficulties, discursive hitches; while another optimizes and maintains the interaction with the interlocutor.Clinicians have a duty to develop their professional practice through an evidence-based clinical approach whose main objective is to reconcile clinical practice with the best evidence from research (Dollaghan 2007). In the case of speech-language pathology, clinicians consider themselves very limited in this approach (Lof 2011; McCurtin 2011), especially for patients with Mild Cognitive Impairment (Mungas et al. 2010; Hopper 2013; Morello 2017) and more specifically when it comes to assessing or supporting language functions (Cummings 2014).The studies focusing on Mild Cognitive Impairment require longitudinal corpora i) to understand the naturally occurring evolutions in subjects, ii) the implication of the cognitive reserve in each individual, and iii) to take advantage of these parameters as evidence for research and earlier rehabilitation. We aim to show the benefits of linguistic and interactional scientific investigation methods through fragile aging, for health professionals and everyday caregivers.Cet article présente un corpus vidéo d’analyse multimodale dont l’objectif principal est de modéliser et prédire les effets du vieillissement en situation de trouble cognitive léger sur les compétences pragmatiques et communicationnelles. Nous prenons comme observable les marqueurs pragmatiques verbaux et non-verbaux. Cette démarche, à l’interface des sciences du langage, des sciences cognitives et de la médecine réadaptative (l’orthophonie) s’inscrit dans un processus de recherche longitudinale en situation écologique (entretiens menés par des intimes des personnes âgées).Nous présenterons en première partie de cet article les caractéristiques langagières, cognitives et sociales du vieillissement dans son continuum jusqu’aux troubles cognitifs léger et pathologiques. En seconde partie nous développerons l’intérêt d’une approche multimodale sur corpus notamment pour renseigner l’accompagnement non-médicamenteux et enrichir les connaissances orthophoniques. Enfin nous présenterons le corpus depuis sa conception expérimentale à ses résultats préliminaires qui concernent deux locutrices de l’étude âgées de plus 75 ans et qui présentent un trouble cognitif léger.Les conclusions générales indiquent qu’avec l’avancée en âge, les marqueurs pragmatiques verbaux revêtent préférentiellement une fonction interactive permettant ainsi aux personnes avec TCL de maintenir les relations intersubjectives avec l’interlocuteur. Par ailleurs, au niveau non-verbal, les manifestations gestuelles sont de plus en plus mobilisées dans le temps avec une préférence pour les marqueurs pragmatiques non-verbaux à fonction référentielle et à fonction interactive. L’une permettant de compenser les manques du mot, difficultés de planification, accrocs discursifs ; l’autre optimisant et maintenant l’interaction avec l’interlocuteur.Les cliniciens ont le devoir de développer leur pratique professionnelle par l’approche clinique basée sur des données probantes dont l’objectif majeur est de concilier la pratique clinique et les meilleures preuves issues de la recherche (Dollaghan 2007). Pour le cas de l’orthophonie, les cliniciens s'estiment très limités quant à cette approche (Lof 2011 ; McCurtin 2011) en particulier pour les patients avec TCL (Mungas et al. 2010 ; Hopper 2013 ; Morello 2017) et plus spécifiquement lorsqu’il s’agit d’évaluer ou soutenir les fonctions langagières (Cummings 2014).L’approche en TCL nécessite des corpus longitudinaux pour comprendre i) les évolutions naturellement en œuvre chez les sujets, ii) renseigner l’implication de la réserve cognitive chez chaque individu et iii) tirer avantage de ces paramètres comme bases de données attestées pour la recherche et la rééducation précoce. Nous désirons montrer quels sont les avantages des méthodes d’investigation scientifiques linguistiques et interactionnelles à travers le vieillissement fragilisé, pour les professionnels de la santé et les aidants au quotidien